/**
 * 此示例将数据保存到默认数据集。
 * 如果数据集不存在，则会创建它。
 * 您可以使用以下方法将数据保存到自定义数据集Dataset.open()
 * 此数据集中的每个项目都将保存到以下目录中自己的文件中：{PROJECT_FOLDER}/storage/datasets/default/
 */

import { Dataset, CheerioCrawler } from 'crawlee';

const crawler = new CheerioCrawler({
    // 为每个URL调用的函数
    async requestHandler({ request, body }) {
        // 将数据保存到默认数据集
        await Dataset.pushData({
            url: request.url,
            html: body,
        });
    },
});

await crawler.addRequests([
    'http://www.example.com/page-1',
    'http://www.example.com/page-2',
    'http://www.example.com/page-3',
]);

// 运行爬虫并等待其完成
await crawler.run();
